9.1 模型调参
- 手动调节超参数
- 从一个好的baseline开始，一些高质量工具包有默认设置的超参数
- 只调一个值，重新训练模型看改变
- 重复调节超参数
- 哪个超参数更重要
- 模型对于超参数哪个更敏感
- 调参管理
- 用日志记录训练的超参数
- 用txt存储log，把核心指标放在Excel
- 用tensorboard记录
- 复现很难
- 环境（硬件和库）
- 代码
- 随机性（SGD等）3.4 随机梯度下降
- 用日志记录训练的超参数
- 自动机器学习（autoML）
- 超参数调节（HPO）9.2 超参数优化
- 神经网络模型构建（NAS）10.1 深度神经网络架构